Nach dem Verlust ihres Besitzes zog die Familie Penning nach Danzig,
wo sie in der Kohlengasse eine Gastwirtschaft betrieb. Später eröffneten sie ein ähnliches Geschäft in der Tischlergasse.
Sie wohnten damals in der Sandweg-Straße. Da die erwarteten Einnahmen ausblieben, beschloss Vater Eduard, nach Wilna umzuziehen,
wo er einen kleinen Bauernhof in Besdanina übernahm. Gleichzeitig arbeitete er als Maurer. Der 13-jährige Georg half seinen Eltern
in der schwierigen finanziellen Lage. Gemeinsam mit seiner Schwester arbeitete er in der Holzbearbeitung. Knapp drei Jahre später,
im Jahr 1887, begann er eine Lehre als Glaser bei dem Bruder seiner Mutter in Königsberg, Unterkatenberg 19. Als er das erste Lehrjahr beendete,
kehrten seine Eltern aus Wilna nach Deutschland zurück. Harte Arbeit und Lebensrückschläge führten bei seinem Vater zu einer schweren Krankheit,
an der er ein Jahr später starb. Zwei Jahre darauf verstarb auch die Mutter.
Mit 18 Jahren war Georg Penning auf sich allein gestellt. Er hatte nur ein Ziel Maler zu werden.